package com.shujia.spark.core

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo9CreateRDD {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local").setAppName("Demo8ReduceByKey")

    val sc = new SparkContext(conf)

    /**
      * 创建RDD方式
      * 1、读取本地文件  textFile(本地path)
      * 2、读取hdfs文件  textFile(hdfs路径)
      * 3、将一个scala集合转换成RDD  parallelize
      */

    //读取文件
    val studentsRDD: RDD[String] = sc.textFile("spark/data/students.txt")


    //将一个scala集合转换成RDD
    /**
      * seq :scala中的一个集合
      * numSlices  分区的数量  不指定会按照线程的数量计算
      */

    val list = List("java,saprk,hadoop", "hive,flume,sqoop")

    val rdd: RDD[String] = sc.parallelize(list)

    rdd.foreach(println)
  }
}
